Sau khi mãn hạn tù, Colson tiến hành thành lập tổ chức Mục vụ Bạn của Tù nhân (Prison Fellowship Ministries) vào năm 1976. Đây là "tổ chức lớn nhất thế giới với tôn chỉ tìm đến để giúp đỡ tù nhân, cựu tù, nạn nhân các tội ác hình sự cùng với gia đình của họ".[20][21]

Colson vận động tích cực cho các hoạt động phục hồi nhân phẩm tù nhân và cải cách hệ thống nhà tù tại Hoa Kỳ. Ông đã đến thăm các nhà tù trên khắp nước Mỹ và nhiều nơi trên thế giới, xây dựng một phong trào với 40.000 người tình nguyện tại 100 quốc gia hoạt động trong các chương trình mục vụ của tổ chức. Năm 1983, Colson thành lập Justice Fellowship (Thân hữu Công lý), một nhóm tôn giáo vận động cải cách tư pháp hình sự.[22] Mạnh mẽ chỉ trích phương pháp "bỏ tù rồi bỏ mặc chúng trong tù" trong cung cách đối xử với tù hình sự, Colson nỗ lực giúp đem Elizabeth Morgan ra khỏi nhà giam. Ông góp phần kiến tạo những nhà tù có các chương trình hoạt động tôn giáo, nơi mà tù nhân từ các trại giam khác tự nguyện xin chuyển đến. Toàn bộ tiền bản quyền xuất bản sách của Colson đều được dành tặng cho tổ chức Mục vụ Bạn của Tù nhân.